ONO
Requirement:

Version:
python==3.7.16

Pip list:
Package                      Version
---------------------------- ------------
absl-py                      1.4.0
axial-positional-embedding   0.2.1
cachetools                   5.3.1
certifi                      2022.12.7
charset-normalizer           3.1.0
cycler                       0.11.0
dgl                          1.1.0
einops                       0.6.1
filelock                     3.12.2
fonttools                    4.38.0
fsspec                       2023.1.0
galerkin-transformer         0.2.1
google-auth                  2.19.1
google-auth-oauthlib         0.4.6
grpcio                       1.54.2
h5py                         3.8.0
huggingface-hub              0.15.1
idna                         3.4
importlib-metadata           6.6.0
kiwisolver                   1.4.5
linear-attention-transformer 0.19.1
linformer                    0.2.1
local-attention              1.8.6
Markdown                     3.4.3
MarkupSafe                   2.1.3
matplotlib                   3.5.3
mpmath                       1.3.0
networkx                     2.6.3
numpy                        1.21.6
nystrom-attention            0.0.11
oauthlib                     3.2.2
packaging                    23.1
pandas                       1.3.5
performer-pytorch            1.1.4
Pillow                       9.5.0
pip                          22.3.1
plotly                       5.16.1
product-key-memory           0.1.10
protobuf                     3.20.3
psutil                       5.9.5
pyasn1                       0.5.0
pyasn1-modules               0.3.0
pyparsing                    3.1.1
python-dateutil              2.8.2
pytz                         2023.3.post1
PyYAML                       6.0
reformer-pytorch             1.4.4
requests                     2.31.0
requests-oauthlib            1.3.1
rsa                          4.9
safetensors                  0.3.1
scipy                        1.7.3
seaborn                      0.12.2
setuptools                   65.6.3
six                          1.16.0
sympy                        1.10.1
tenacity                     8.2.3
tensorboard                  2.11.2
tensorboard-data-server      0.6.1
tensorboard-plugin-wit       1.8.1
timm                         0.9.2
torch                        1.12.1+cu113
torchaudio                   0.12.1+cu113
torchinfo                    1.8.0
torchvision                  0.13.1+cu113
tqdm                         4.65.0
typing_extensions            4.6.3
urllib3                      1.26.16
Werkzeug                     2.2.3
wheel                        0.38.4
zipp                         3.15.0

Reproduce the main results:
Darcy:

`python Darcy_example.py --model ONO2  --n-hidden 128 --n-heads 8 --n-layers 10 --lr 0.001 --use_tb 1 --attn_type nystrom --max_grad_norm 0.1 --orth 1 --psi_dim 16 --batch-size 4 --mlp_ratio 2`

NS2d:

`python NS_example2.py --model ONO2 --n-hidden 128 --n-heads 8 --n-layers 8 --lr 0.001 --use_tb 1 --max_grad_norm 0.1 --orth 1 --psi_dim 16 --batch-size 8 `


NACA:

`python airfoil_example.py --model ONO2 --attn_type nystrom  --n-hidden 128 --n-heads 8 --n-layers 6 --lr 0.001 --use_tb 1 --max_grad_norm 0.1 --orth 1 --psi_dim 8 --batch-size 4`


Elasticity:

`python ela_example.py --model ONO2  --n-hidden 128 --attn_type nystrom  --n-heads 8 --n-layers 8 --lr 0.001 --use_tb 1 --max_grad_norm 0.1 --orth 1 --psi_dim 8 --batch-size 8`


Plastcity:

`python pla_example.py --model ONO2  --n-hidden 128 --n-heads 8 --n-layers 8 --lr 0.001 --use_tb 1 --max_grad_norm 0.1 --orth 1 --psi_dim 8 --batch-size 8 `

Pipe:

`python pipe_example.py --model ONO2  --n-hidden 128 --n-heads 8 --n-layers 8 --lr 0.001 --use_tb 1 --max_grad_norm 0.1 --orth 1 --psi_dim 8 --batch-size 2 --attn_type nystrom`

Reproduce the generalization experiments:

Zero-shot Super-resolution:

`python space_gen.py --model ONO2  --n-hidden 128 --n-heads 8 --n-layers 8 --lr 0.001 --use_tb 1 --max_grad_norm 0.1 --orth 1 --psi_dim 16 --batch-size 8`

Time generalization:

`python time_gen.py --model ONO2  --n-hidden 128 --n-heads 8 --n-layers 8 --lr 0.001 --use_tb 1 --max_grad_norm 0.1 --orth 1 --psi_dim 8 --batch-size 8`